ベイズ的枠組みにおける根本的な転換は、未知パラメータ $\theta$ の存在論的立場にある。頻度主義統計では $\theta$ が固定されたが未知の定数として扱われるのに対し、ベイズ的アプローチでは $\theta$ を 確率変数確率変数として扱うことで、事前確率測度 $\Pi$ を用いて不確実性を定量化できる。
ベイズモデルの構築
完全なベイズモデルはペア $(\{f_{\theta} : \theta \in \Omega\}, \Pi)$ によって定義される。ベイズ推論とは単に「ベイズの定理を使う」ことではなく、推論のための不可欠な要素として 事前確率分布 標本モデルに加えるという意図的な行為である。
私たちの知識の全体像は同時分布 $\pi(\theta) f_{\theta}(s)$ によって捉えられる。この関数は観測データ $s$ と観測できないパラメータ $\theta$ を、一つの整合的な確率論的枠組みで結びつける。
直接的な確率的主張
この枠組みでは、$\theta$ は確率密度 $\pi(\theta)$ に従う。これにより、$P(\theta \in A)$ のようなパラメータに関する直接的な確率的主張が可能となる。これは頻度主義的枠組みでは論理的に不可能であり、ここでは $\theta$ に分布がなく、したがってこのような主張は定義されない。
現実世界の例：医療診断
稀な疾患の診断において、「定数」となるのは患者がその病気にかかっているかどうかである。ベイズ的枠組みでは、疾患状態 $(\theta)$ を確率変数として扱う。罹患率が0.1％（事前確率）であり、検査（モデル $f_{\theta}$）が陽性を示した場合、検査の正確さだけを見るのではなく、疾患を持っているかつ陽性反応を示すという同時確率を評価することで、新たな罹患確率を決定する。